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(57) Abstract: The invention relates to a method for compressing and decompressing video data consisting of an array of individual 
image points (pixels). Each pixel has a pixel value that changes with time and that describes the colour or luminosity information of 
the pixel. According to the method, a priority is allocated to each pixel and the pixels are then stored in a priority array according 
to this priority allocation. Said array contains at each moment in time the pixel values that have been classified according to the 
priority allocation. The pixels and the pixel values that have been used to calculate the priority allocation are transmitted or saved 
according to said priority allocation. A pixel receives a high priority, if the differences in relation to its neighbouring pixel are greaL 
For the reconstruction process, the current pixel values in each case are reproduced on the display. The pixels that have not yet been 
transmitted are calculated from the pixels that have already been transmitted. 
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(57) Abstract: The invention relates to a method for compressing and decompressing video data consisting of an array of individual 
image points (pixels). Each pixel has a pixel value that changes with time and that describes the colour or luminosity information of 
the pixel. According to the method, a priority is allocated to each pixel and the pixels are then stored in a priority array according 
to this priority allocation. Said array contains at each moment in time the pixel values that have been classified according to the 
priority allocation. The pixels and the pixel values that have been used to calculate the priority allocadon are transmitted or saved 
accoiding to said priority allocation. A pixel receives a high priority, if the differences in relation to its neighbouring pixel are great. 
For the reconsttuctidh process, the current pixel values in each case are reproduced on the display. The pixels that have not yet been 
transmitted are calculated from the pixels that have already been transmitted. 
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(57) Zusammenfassung: Die Erfindong betrifft ein Verfahren zur Komprimierung und Dekomprimierang von ^^deodaten, die aus 
einem Array einzelner Bildpunkte (Pixel) bestehen, wobei jedes Pixel einen sich zeitlich yerandemden Pixelwert aufweist, der Farb- 
oder Helligkeitsinformation des Pixels beschreibt Erfindungsgemass wird jedem Pixel eine Prioritat zugeordnet und die Pixel ent- 
sprechend ihrerPriorisierung in einem Priori tatenarray abgelegt. Dieses Array enthalt zu jedem Zeitpunkt, die nach derPriorisiemng 
sortieiten Pixelwerte. Entsprechend der Priorisierung werden diese Pixel, und die fiir die Berechnung der Priorisierung benutzten 
Pixelwerte, iibertragen bzw. abgespeichert. Ein Pixel bekommt eine hohe Prioritat, \yenn die Unferschiede zu seinen benachbarten 
Pixel sehr gross sind. ZurRekonstruktion weiden die jeweils aktuellen Pixelwerte auf dem Display dargestellt. Die noch nicht iiber- 
tragend'en Pixel, werden aus den schon ubertragenden Pixel berechneL 
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Verfahren zur Komprimierung und Dekomprimierung von Videodaten 

Die Erfindung beschrelbt ein Verfahren zur Komprimierung und 
Dekomprimierung von Videodaten 

Videos erzeugen groBe Datenmengen. Um diese Datenmengen effektiv zu 
ubertragen und abzuspeichem, ist es sinnvoll diese zu komprimieren. 

Nach der heutigen Stand derTechnik werden Videosignale in einer schnellen 
Abfolge von Einzelbildern aufgenommen und wiedergegeben. Beim Fernsehen 
(PAL-Norm) sind dies 25 Bilder pro Sekunde, bzw. 50 Halbbilder. Bei digitalen 
Aufnahmen sind das bis ca. 30 Bilder pro Sekunden. Jedes Bild wird In Zeilen 
zerlegt, und zunachst sequentiell Qbertragen. 

Bisherige Komprimierungsmethoden basieren im wesentlichen auf der 
Reduzierung der Auflosung, der Farbtiefe und der Verringerung der Anzahl der 
Bilder pro Sekunde. Bei der digitalen Kompression^ z.B. den MPEG-Verfahren, 
werden anstelle von kompletten Bildern Im wesentlichen die Differenzbilder, 
d.h. die Unterschiede der einzelnen Bildpunkte (Pixel) im Vergleich zum 
vorherigen Bild, anstelle der Komplettbilder ubertragen. Der neueste Standart 
fur Videokodierung Ist r^PEG4. 

MPEG ist die Abkurzung fur "l\/lotion Pictures Expert Group". Von dieser Gruppe 
wurden bzw. werden Dateiformate und Verfahren zum platzsparenden 
Komprimieren und Speichem von Video- bzw. Multlmediadaten (Video, Bild- 
und Tondaten) in hoher Qualitat festlegt. Der MPEG-Standard unterteilt slch 
inzwischen in MPEG-1, MPEG-2, MPEG-3 und MPEG-4 , wobei derMPEG-3- 
Standard mittlerweile in MPEG-2 integriert wurde. 

Um die riesige Datenmenge von Fiimen mit "normalen" Computern verarbeiten 
und transportieren zu kSnnen, werden nur die Veranderungen zum 
Vorgangerbild abgespeichert. Das MPEG-Format speichert in regelmaf3igen 
Abstanden von typischerweise zwolf Bildern sogenannte Intra-Frames ab; das 
sind JPEG-komprimlerte Einzelbilder. Die Bilder zwischen diesen l-Frames 
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werden nach Moglichkeit nicht komplett abgelegt. Vielmehr speichert MPEG, 
wie man sie durch Verschieben von Teflen aus vorangehenden oder 
nachfolgenden Bildern zuruckgewlnnen kann. Dazu werden auch 
vorausschauende "Predicted Frames" und "B-Frames" (Bi-directlonale Frames) 
verwendet. Da das aber nie perfekt klappt, werden zusatzlich pro Bild die 
verbleibende Abweichung noch JPEG-kodiert abgespeiciiert. Mit dieser 
Methode lasst sich der Datenaufwand fur einen Video-Film um etwa 99% 
verringern . Die mogliche Kompression geht bis 200:1 . 
MPEG-I wurde fiir fliissige Video-Wiedergaben entworfen. Die MPEG-1- 
Komprimierung bzw. Dekomprimlerung war ursprOnglicii ein 
jiardwarealphangiges Verfahren. Es ist allerdlngs mittlerweile, dank der 
scfinellen Prozessoren, auch ein Spftwaredekomprimieren moglich. 
Der wesentliche Unterschled zwischen MPEG-1 und MPEQ-2 besteht darin, 
daB MPEG-2 besser mit dem belm Femsehen eingesetzten 
Zeilensprungverfahren (Interlace) umgehen kann. Das Geheimnis von MPEG-2 
liegt in der Kompression auf Inoclister Qualitatsstufe, so daB Filmmaterial 
nahezu 1 zu 1 in Studioquaiitat bearbeitet und editiert werden kann. 
Konsequenterweise etablierte sicli MPEG-2 zu einem Standard. Bei einer 
reinen l-Framecodierung lasst sicli MPEG-2 sogar im Schnittbetrieb elnsetzen. 
definiert. Der Tell des MPEG-3-Standard, der fur High Definition TV-Qualitat 
(HDTV) vorgesehen war, wurde mittlerweile in den MPEG-2-Standard 
implementiert. 

MPEG-4 ist eine Weiterentwicklung des MPEG-2-Formats und befindet sich seit 
1996 in der Entwicklung. Obwohl MPEG-4 ursprunglich als ein. 
Codierungsstandard fur audiovisuelle Daten mit sehr niedriger Bitrate gedacht 
war, diente die Entwicklung weit mehr Zwecken als lediglich dem Streaming von 
linearen Mediendaten bei Internet- und drahtlosen Anwendungen. MPEG-4 
stellt z.B. effiziente Mechanismen zur Komprimierung und Distribution 
Interaktiver Medieninhaite bereit. AuQerdem verfugt MPEG-4 uber 3D- 
Potentiale, um kunstliche Intelligenzen zu visualisieren oder Avantare 
darzustellen, z.B. im Rahmen von VIdeokonferenzen. 

Die Kompressionsrate ist bei MPEG-4 hoher als bei MPEG-2, wobel "Sprites" 
besser komprimiert werden konnen, well dem Codier-Mechanismus dafQr 
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wesentlich mehr Zeit zur Verfugung st.eht. Eventuell kann dabei sogar auf 
Wavelets umgeschaltet werden. Die Skriptsprache ermoglicht es, in wenigen 
Bytes Operationen wie "verschieben" wesentlich schneller durchzufuhren, als 
es die digitalisierte korhprimierte Form der gleichen Operation ermoglichen 
wurde. Mit Hilfe dieser "Sprites" konnen beliebig konturierte Standbilder uber 
sich bewegende Bilder geschoben werden. 

Die Aufgabe der Erfindung liegt in der Schaffung eines Verfahrens zur 
Komprimierung von Videodaten, welches eine einfache und flexible Anpassung 
an unterschledliche Obertragungsraten bzw. -bandbrelte, Bildauflosungen und 
DispIaygroBen eriaubt. 

Diese Aufgabe wird durch die Merkmale des Patentanspruchs 1 gelost. 

Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den 
Unteranspruchen angegeben. 

Vorzugsweise erfolgt eine parallele Verarbeitung der VIdeoinformationen Im 
Videoaufnahmechip. Die parallele Verarbeitung dient dem Zweck, zunachst die 
wichtlgsten Pixel zu ermittein und diese entsprechend einer Priorisierung in ein 
Prioritatenarray abzulegen. Dieses Array enthalt zu jedem Zeitpunkt, die nach 
der Priorisierung sortierten Pixelwerte. Entsprechend der Priorisierung werden 
diese Pixel, und die fur die Berechnung der Priorisierung benutzten Pixelwerte, 
ubertragen bzw. abgespeichert, Ein Pixel bekommt eine hohe Prioritat, wenn 
die Unterschlede zu seinen benachbarten Pixel sehr groS sind. 

Zur Rekonstruktion werden die jeweils aktuellen Pixelwerte auf dem Display 
dargestellt. Die noch nicht ubertragenden Pixel werden aus den schon 
ubertragenden Pixel berechnet. 

Entsprechend der Rechenleistung, der Obertragungsbandbreite und der Gr63e 
des Displays konnen unterschledliche Verfahren zur Berechnung der noch nicht 
(ibertragenen Pixel eingesetzt werden. Steht eine sehr groBe Bandbrelte zur 
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VerfQgung kann eine einfache llneare Interpolation durchgefOhrt werden. Steht 
nur eine sehr kleine Bandbreite zur VerfQgung, kann dies bei der Obertragung 
der priorislerten Pixel berucksichtigt werden, 

Durch den Hlstorienverlauf der Obertragenden Pixel konnen Objekte 
identifiziert, und damit eine Bewegungsabschatzung dieser Objekte 
durchgefuhrt werden. 

Der Grundgedanke des Verfahrens baslert auf der priorlsierten 
Pixelspeicherung bzw. Obertragung. Bei der Abspeicherung bzw. der 
Videoubertragung mussen femer die zeitlichen und positioneilen (innerhalb des 
Bildarrays) AbhSngigkelten der einzelnen Pixel oder in Pixelgruppen 
zusammengefassten Pixel berOckslchtigt werden. 

Um eine extreme hohe Datenkompression zu erzielen werden jeweiis die 
Pixelgruppen iibertragen, die die liocliste Prioritat liaben, und bisher nocii nicht 
iibertragen worden sind. Die Fiacfien, d.li. die PIxelwerte zwischen den schon 
Obertragenden Pixelgruppen werden aus den schon Obertragenden 
Pixelgruppen berechnet, z.B. durcli Interpolation. Bei hoherer Auflosung 
(groBeres Bildarray) steigt der erreichbare Kompressionsfaktor, da bei 
naturllchen Aufnahmen groSere FISchen meist einen gut vorhersagbaren 
(gleichmaBigen) Farbverlauf haben, z.B. blauer Himmel. 

Zu beachten ist auch, dass jeweiis die exakten Pixelwerte Qbertragen werden. 
Falls erforderlich eriaubt dies Verfahren eine verlustfrele Obertragung der 
Videoinformationen. 

Die Widerherstellung bzw. Rekonstruktion der Videodaten berulit auf 
Abschatzungen ahnlich des menschliclien Sehverhaltens. Der Mensch nimmt 
Reize war, aber die Interpretation was er auf diesem Bild erkennt, findet erst in 
seinem Gehirn statt. Die Reize entsprechen den Qbertragenen Pixelgruppen, 
die Interpretation entspriclit dem Ausfullen der Flachen zwischen den noch 
nicht Qbertragenen Pixelgruppen. 
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Um dieses zu reallsieren, konnen zusatzllche Arrays angelegt werden. Dies 
sind unter anderem eiri Array in welchem die Information vorhanden ist, aus 
welchen Pixelgruppen der Pixelwert an der aktuellen Position ermittelt wurde. 
Weitere Informationen konnen sein, wann diese Werte bereclinet worden sind, 
aus welchen Pixelgruppen diese berechnet bzw. ubertragen worden sind. Auch 
eine Einschatzung Qber die'Genauigkeit der Werte (z.B, Berechnung aus dire kt 
benachbarten Pixel, geringe Varianz der zur Berechnung zugrunde liegenden 
Pixel) kann als zusatzliche Information ausgewertet werden. 

Das beschriebene Verfahren eriaubt eine wesentlich elnfachere Anpassung des 
Videodatenstroms an unterschiedliche DisplaygroBen und Bifdauflosungen. 

Ein weitere Vorteil ist, dass durch die beschriebene Art der Kodlerung des 
Videos nicht automatlsch festgelegt wird, mit welchen Algorithmen das Video 
dekodiert werden muss. Dies wird durch Obertragung der prforisierten 
Pixelwerte erreicht, die entgegen bei anderen Verfahren keine Mittelwertbildung 
erfahren. Hersteller haben damit die Moglichkeit Low bis High Cost Endgerate 
zu entwickein und sich durch unterschiedliche Algorithmen vom 
Mitkonkurrenten hervorzuheben. 

Die angestrebte massiv-parallele Verarbeitung der Videodaten in einem speziell 
dafOr entwickelten Chip eriaubt es, extrem niedrigen Taktraten zu verwenden, 
was sich gunstig auf den Stromverbrauch auswirkt. 

Durch Priorisierung konnen bestimmte Berelche des Videos (z.B. Lippen bel 
Nachrichtensprechern) mit einer hoheren Priorltat und folgllch einer besseren 
Auflosung ubertragen werden. 

Das Verfahren eriaubt es, aus dem Datenstrom des Videos fur unterschiedliche 
Endgerate die optimalen Teildatenstrome herauszufiltern, ohne das dies bel der 
Videoaufnahme berucksichtigt werden muss. 
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Ein Ausf uhrungsbelspiel der Erf indung wird anhand der Zeichnungsfiguren 
naher eriautert. Aus den Zeichnungen und deren Beschreibung ergeben sich 
weitere Merkmale, Vorteile und Anwendungsmoglichkeiten der Erfindung. Es 
zeigt: 

Figur 1 : Darstellung eines Bildarrays aus 20 x 21 Pixeln; 
Figur 2: Darstellung verschiedener Formen von Pixelgruppen; 
Figur 3: Bildarray mit bewegtem Objekt zu einem Zeitpunkt t1 ; 
Figur 4: Bildarray mit bewegtem Objekt zu einem Zeitpunkt t2; 
Figur 5: Bildarray mit bewegtem Objekt zu einem Zeitpunkt t3; 
Figur 6: Neu generiertes Bildarray mit eingefQgten Pixelgruppen in der 
Bildecke; 

Figur 7: Ausfullen der Flachen zwischen den bereits eingefiigten 
Pixelgruppen; 

Figur 8: Einfugen weitere Pixelgruppen und Ausfullen der 
dazwischenliegenden Flachen. 

Naclifolgend wird anhand eines exemplarischen Beispiels eine Komprimierung 
und Dekomprimierung eines Videosignals beschrieben. 

Folgende Annahmen werden getroffen: 

Als Videoquelle steht eIn derzeit ubiiches Videosignal zur VerfOgung (z.B. PAL 
Oder NTSC). Die Videoinformation kann mit einer handelsublichen 
elektronischen Einrichtung (z.B. Framegrabber-Karte) ausgelesen werden. Zur 
Veranschaulichung des Verfahrens wird im folgenden ein minimiertes Bildarray 
mit einer Breite von 20 Pixel und einer Hohe von 21 Pixel verwendet (Figur 1). 
Jedes Pixel des Arrays wird duroh einen 32 Bit Wert (Pixelwert) reprasentiert. 
Die 32 Bit sind z.B, in 4 Werte (Transparent, Rot, Grun, Blau) mit jeweils 8 Bit 
aufgeteilt. Die Position der Pixel ist duroh eine Integer Zahl festgelegt. Das 
Bildarray wird in der in Figur 1 gezeigten Weise von 0 bis 419 durchgezahlt. Die 
Zahl innerhalb jedes Kastens entspricht der Position des zugehorigen Pixels. 
Zwischen der Quelle und Senke besteht eine UDP (User Datagramm Protocol) 
Verbindung. Ober diese werden dann die komprimierten VIdeodaten geschlckt. 
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Die Komprlmierung des Videosignals erfolgt folgendermaBen: 

Das Verfahren beruht darauf, dass standig eine Priorisierung dereinzelnen 
Pixel des Videosignals erfolgt, wobei die Pixel entsprechend ihrer Priorisierung 
in ein Array abgelegt werden. Dieses Array enthalt zu jedem Zeitpunkt, die 
aktuellen, nach Prioritat sortierten Pixelwerte. Ein Pixel bekonnmt eine hohe 
Prioritat, wenn die Unterschiede zu seinen benachbarten Pixel sehr groB sind. 
Das Pixel wird zusammen mit seinen fur die Berechnung verwendeten 
Nachbarpixein zu einer Pixelgruppe zusammengefasst. Entsprechend der 
Priorisierung werden diese Pixelgruppen ubertragen bzw. abgespeichert. 

Bildarray einlesen 

Der Framegrabber hat zu jedem Zeitpunkt das jeweils aktuelle Bild in seinem 
Bildarray das wie in Figur 1 gezeigt beispielsweise ein 20 x 21 Pixel groBes 
Bildarray sein kann. Jedes Pixel ist durch seine Position (0 bis 419) lind seinen 
Pixelwert (Farb- bzw. Helligkeitswert) definiert. 

Pixelgruppen festlegen 

Zuvor wurde festgelegt, welche benachbarten Pixel eine Pixelgruppe bilden. Mit 
pO Ist dabei dasjenige Pixel bezeichnet, das die Position der Pixelgruppe angibt 
und fur das die Prioritat berechnet wird. Die relative Position der ubrigen Pixel, 
z.B. p1-p4, einer Pixelgruppe zum Bezugspixel pO ergibt sich aus der 
verwendeten Art (Form) der Pixelgruppe. In Figur 2 sind exemplarisch einige 
mogliche Formen von Pixelgruppen dargestellt. Es konnen sowohl zum 
Bezugspixel pO symmetrische als auch unsymmetrische Pixelgruppen gebildet 
werden. Welche Art von Pixelgruppe verwendet wird, ist u.a. von der Art des 
Bildmaterials und der angestrebten Kompressionsrate abhangig. In der Regel 
ist der zu erreichende Kompressionsfaktor umso groBer, je mehr Pixel eine 
Pixelgruppe umfasst. Zum kodieren und dekodieren, d.h, komprimieren und 
dekomprimieren des Videobildes muss die gleiche Form von Pixelgruppen 
verwendet werden. 
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Prioritatswerte ermlttein 

Fur jedes Pixel pO einer Pixelgruppe wird nun die Prioritat in Bezug auf dessen 
PIxelgruppe bereclinet. Dabei wird jedes Pixel 0-419 des Bildes einmal zum 
Bezugspixel pO. Dabei ist erfindungsgemaB vorgesehen, dass die Bereclinung 
der Prioritatswerte der Pixel soweit wie moglicii im Ralimen einer parallelen 
Datenverarbeitung durcligefuhrt wird. Optimal ist, wenn die Berechnung der 
Prioritaten aller Pixel des Bildes gleichzeitig erfolgt. Das es sich urn ein 
Videosignal liandelt, werden die Prioritatswerte aller Pixel stfindig neu . 
berechnet, da sicli der Blldlnhalt laufend andert. Die VIelzahl der Pixelgruppen, 
insbesondere die mit niedrigerer Priorisierung, werden sich aber mit einer 
hohen Wahrscheinlichkeit nicht andem. 

Zur Berechnung der Prioritat kann es verschiedene Rechenmethoden geben, 
Exemplarisch wird hier eine lineare Methode venwendet. 

Dazu werden die eirizelnen Pixelwerte PO, P1, P2, P3 und P4 einer Pixelgruppe 
In ihre Farbantelle Rot, GrOn und Blau zerlegt. Jeder dieser Farbwerte wird 
durch 8 Bit reprasentiert. Fur jede Farbe eines jeden Pixels P1-P4 wird nun ein 
Farbdifferenzwert in Bezug auf PO ermittelt, 

z.B. PO_rot - P1_rot, PO_rot - P2_rot. ... , PO_blau - P4_blau. Die absoluten 
Farbdifferenzwerte werden addiert und durch die Anzahl.der Farben und Anzahl 
der betrachteten Pixel geteilt. Das Ergebnis ist ein Prioritatswert fQr die 
betrachtete Pixelgruppe. Dieser Prioritatswert Ist umso hoher, je 
unterschledllcher die Farbwerte der einzelnen Pixel der Pixelgruppe sind. 

Weitere Methoden zur Ermittlung des Prioritatswert sind die Benutzung von 
Grauwerten Oder der Maximalwert einer Farbdifferenz einer Farbe. Da der 
Prioritatswert spater selbst nicht iibertragen, bzw. abgespeichert wird, hat das 
Verfahren zur Ermittlung des Prioritatswert keinen direkten Einfluss auf die 
Dekodierung. 

Durch diese Priorisierung wird erreicht, dass Bildbereiche, die einen groBen 
Farb- oder Kontrastwechsel aufweisen, wie z.B. Kanten, eine hohe Prioritat 
erhalten, und relativ gleichbleibende Bildlnhaite, wie z.B. blauer Himmel, eine 
Niedrige. 



9 



PCT/DE02/00987 



Priorltatswerte sortieren 

In diesem Schritt werden die Priorltatswerte der GroBe nach absteigend 
sortiert. Die Sortierung erfolgt nach Ermittlung jedes neuen Prioritatswertes 
Fur jeden Zeitpunlct besitzt man somit eine nacli Prioritaten geordnete Liste von 
PIxelgruppen die absteigend sortiert ist. Es ist anzustreben, dass 
entsprechende Bildaufnehmer (CCD-Chips) entwicl<elt werden, welche 
unmittelbar eine solciie nach Prioritaten geordnete Liste bereitstellen. 
Wird das zu komprimierende Bild direl<t mit einer CCD Kamera oder einem 
Scanner aufgenommen, besteht prinzipieil die M6glichl<eit, aus dem in der 
Kamera / dem. Scanner vorhandenen, bildbearbeitenden IVIikrochIp direkt ein 
nach Prioritaten sortiertes Array zu erhalten. Somit wird beim komprimieren ein 
wesentlicher Teil des Reohenaufwandes eingespart. 

Aktualisieren der Prioritatswerte 

Im Gegensatz zu Standbjldem (z.B. Fotografien) ergibt sich bei , 
Videoinformationen eine standig wechselnde Prioritatsanderung der 
PIxelgruppen, z.B. bei Kameraschwenk oder bewegten Objekten. Um dies zu 
verdeutlichen ist in den FIguren 3 bis 5 ein Videobildarray zu verschiedenen 
Zeitpunkten t1 bis t3 dargestellt, wobei sich ein Objekt von rechts nach links 
verschiebt. 

GemaB Figur 2 enthalt das Bild zum Zeitpunkt t1 ein Objekt, das die Pixel 156, 

1 57, 1 76, 1 77, 191-1 97,21 1 -21 7,231-237,256,257,276,277 ausf ullt. 

Fur die Berechnung der'Prioritaten der Pixel (0-419) des Bildes wird die in Figur 

2 dick umrandeten Form der PIxelgruppe (links unten) verwendet. 

Es ergibt sich eine Prioritatsverteilung der Pixel, wie sie In der weiteren 

Beschreibung des Verfahrens beispielhaft in Tabelle 1 zum Zeitpunkt t1 

dargestellt ist. Die Tabelle enthalt jeweils nur die Nummer des Bezugspixels 

(pO) einer Pixeigruppe. Diejenigen PIxelgruppen, die sich im Randbereich des 

Objektes befinden und bei denen das jeweilige Bezugspixel (pO) den groBten 

Unterscliied zu den ubrigen Pixein der Pixeigruppe aufweist, bekommen die 

hochste Prioritat A. Die PIxelgruppen, deren Bezugspixel einen geringeren 
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Unterschied zu den ubrigen Pixein der Pixelgruppe aufweisen bekommen eine 
mittlere Prioritat B und diejenigen Pixelgruppen, deren Bezugspixef gar keinen 
Unterschied zu den Qbrigen Pixein der Pixelgruppe aufweisen die niedrigste 
Prioritat C. 





Prioritat A 


Prioritat B 


Prioritat C 


Zeitpunkl t1 


175,255,231,191, 
156,157,277,276 


177,197,217,237,257. 
176,256,211,192, ... 


0.1,2,3,4,5,6.7,8.9,10, 
11, 12.13.14,15, ... 


Zeitpunkt t2 


189,173,154,155, 
274,275,253,229 


175.195,215,235,255. 
190,191,192,193, ... 


0,1,2,3,4.5.6.7,8,9,10. 
11, 12,13,14,15, ... 


Zeitpunkt t3 


187,171 ,227,251, 
152,153,272,273 


173,193.213,233,253. 
188,189,190,191, ... 


0,1,2,3,4,5,6.7,8,9,10, 
11. 12,13,14,15, ... 











Tabelle 1 



Im Rahmen der Komprimierung werden nun zunachst die mit Prioritat A 
versehenden Pixelgruppen ubertragen bzw. abgespeichert, dann die 
Pixelgruppen mit Prioritat B und schlieBIich die Pixelgruppen mit der Prioritat C. 
Da sich das Objel<t zwischenzeitlich bewegt und in Bezug zu FIgur 3 In den 
Figuren 4 und 5 eine andere Position einnimmt, andern sIch die Priorltaten der 
einzelnen Pixelgruppen. Die Prioritatenliste wird aktualisiert und es wird sofort 
mit der Obertragung der aktuellen Pixelgruppen mit der hochsten Prioritat 
fortgefahren. 

Die neu berechneten Prioritaten der Pixelgruppen fiir die Zeitpunkte t2 (Figur 4) 
und t3 (Figur 5) sind In Tabelle 1 dargestellt. 

Somit konnte eine mogliclie komprimierte Obertragung eines Videoslgnals 
gemaB Tabelle 1 folgendermaBen aussehen: 

Zeitpunkt t1 : Pixelgruppen mit der hochsten Prioritat A werden ubertragen: 
175, 255, 231, 191, 156, 157, 277, 276, 177, 197. 217 
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Zum Zeitpunkt t2 werden neue Prioritaten erkannt. Andere Ptxelgruppen 
erhalten hochste Priorltat A. Es wird mit der Obertragung der neuen Prioritat A 
fortgefahren: 

189,173,154.155,274,275,253,229 

Danach folgt die Obertragung der Pixelgruppen mit Prioritat B: 
175.195.215,235,255,190,191,192,193, ... 

Zum Zeitpunkt t3 werden wieder neue Prioritaten erkannt. Andere Pixelgruppen 
erlialten hocliste Prioritat A. Es wird mit der Obertragung der neuen Prioritat A 
fortgefaliren: 

187.171,227,251, 152,153,272,273 

In einem zusatzlichen Array wird QberprOft, welche Pixelgruppen bereits 
Qbertragen worden sind. Wurde eine Pixelgruppe schon Obertragen, braucht 
Sie nioht ein 2tes mal Qbertragen werden, sofem sich ihre Prioritat nicht 
zwischenzeitlich geandert hat. Bestimmte BiJdregionen, z.B. Gesichter, k5nnen 
erkannt und bevorzugt Qbertragen werden. ZusStzllch konnen von dem 
Empfangerauch bestimmte Pixelgruppen angefordert werden (z.B. bei 
Erkennung von Ubertragungsfehleren durch fehierhaften CRC Check). Derart 
angeforderte Pixelgruppen konnen dann eine hohe Prioritat erhalten, so dass 
Sie sofort Obertragen wird. 

Pixelgruppen abspeichem / Qbertragen 

Die Begriffe „abspeichem" und nUbertragen" werden nachfolgend synonym 
verwendet. Zun§chst werden einige KenngroBen des Videobildes abgespeichert 
bzw. Qbertragen. Exemplarisch aufgefQhrt sind das z.B.: 

- Bildbreite (in Pixel) 

- Bildhohe (in Pixel) 

- Verwendete Form der Pixelgruppe (nIcht notwendig wenn nur eine Form 
standardisiert ist) 

AnschlieBend werden die einzeinen Pixelgruppen entsprechend ihrer Prioritat 
abgespeichert bzw. Qbertragen, d.h. Pixelgruppen mit hoher Prioritat werden 
zuerst gespeichert (und spater auch zuerst ausgelesen). 
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Dazu wird zunachst der Positlonswert des Bezugspixeis pO der Pixelgruppe 
abgespelchert. AnschlleBend werden die Plxelwerte PO, PI, P2, P3, P4 
abgespeichert. 
Beisplel: 

Positionswert PO, Pixelwerte PO, P1 , P2, PS* P4; nachster Positionswert PO (mit 
gleicher Oder niedrigerer Prioritat), Pixelwerte PO, PI, P2, P3, P4, ... , nachster 
Positionswert PO (mit geringster Prioritat), Pixelwerte PO, P1, P2, P3, P4. 

Das Abspeichern kann durch verschiedene Methoden, die hier nur 
exemplarisch angesprochen werden, optimiert werden. 
Es kann eine LauflSngencodierung der Pixelgruppen vorgenommen werden. 
Z.B. wenn in einem Bildbereich keine Rotanteiie vorkomnnen, kann dies anstelle 
von 8 Bit (rot) nur mit z.B. 2 Bit Obertragen werden, oder es kann die Anzahl 
der fOhrenden Nullen ausgenutzt werden. 

Ferner konnen allgemein Qbllclie Komprimierungsmethoden, z.B. Zip-Format, 

verwendet werden. ::• 

burch Festlegung elnes Grenzwertes fur die Priorisierung kann eine bestimmte 

Qualitat gewahrleistet werden. Z.B. kann ein Grenzwert fur die 

Pixeldifferenzwerte festgelegt werden unterhalb dessen die zugeordnete 

Pixelgruppe immer den niedrigsten Prioritatswert bekommt. 

Werden zunachst die 4 Pixelgruppen der Eckpunkte ubertragen, bekommt man 

mit wenigen Pixelgruppen eine groBtmSgllche FlSche berechnet. 

Rekonstruktion (Dekomprimierung) der Videodaten 

Neues Bildarray generieren 

Bel der Rekonstruktion der komprimierten Videodaten wird zunachst ein 
Bildarray verglelchbar mit der Darstellung in Figur 1 erzeugt. Dazu werden die 
Kenndaten des Bildes eingelesen und ausgewertet. Exemplarisch sind dies 
Bildbreite, Bildhohe und Form der zur Komprimierung verwendeten 
Pixelgruppe. Stimmen die Bildhohe und Bildbreite zwischen dem Ursprungsbild 
und der nun gewunschten Darstellung (z.B. begrenztes PDA Display oder 
hochaufldsender Bildschirm) nicht Qberein, muss entsprechend skaliert werden. 
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Dazu werden zunachst Umrechnungsfaktoren ermittelt (Bildbreite^Orgmal / 
Bildbreite^DispIay und Bildhohe^Orginal / Bildh6he_DispIay). Diese Faktoren 
konnen benutzt werden um den Positionswert von dem Origlnalbild in den 
Positionswert des neuen Displays umzurechnen. 

Pixelgruppen einfugen 

Wie in Figur 6 dargestellt ist, werden entsprechend der Reihenfolge der 
priorisierten Pixelgruppen diese nun eingelesen. Beispielsweise werden die 
ersten vier Pixelgruppen mit der hochsten Prioritat in das Bildarray eingetragen. 
In Figur 6 sind dies die Pixelgruppen an den Ecken des Bildes. Die Position des 
Bezugspixels pO der jewelligen PIxelgruppe ist durch die schwarz unterlegten 
Felder 21, 38, 381 bzw. 398 bestimmt. Dieser Positionswert (pO) liegt als 
Integerwert in der abgespeicherten Date! vor. AnschlieBend konnen die zur 
jeweiligen Pixelgruppe gehorenden, dunkelgrau grau unterlegten Pixelwerte 
(p1-p4) in das neue Bildarray eingetragen werden. Die dazwischen liegenden, 
hellgrau markierten Pixelwerte lassen sich dann aus den dunkelgrau und 
schwarz markierten Feldern berechnen. Zur Berechnung werden zunachst die 
bekannten Pixelwerte in ihre Bestandteiie Rot, Grun und Blau zerlegt. 
AnschlieBend wird der Mittelwert jeder Farbe berechnet, z.B. Pixel(22) = 
(Pixel{2) + Pixel(21) + PixeI(42))/3). 

Flachen ausfullen 

Nun werden die bereits vorhandenen Pixelgruppen durch LInien mitelnander 
verbunden. Dies ist In Figur 7 dargestellt. Es ergeben sIch Dreiecke, dessen 
Ecken durch die entsprechenden Pixelgruppen deflniert sind. Exemplarlsch soil 
dies an der Linie zwischen Pixeiposition 2 und Pixelposltion 17 verdeutllcht 
werden. Der Farbverlauf der Linie wird anhand der Farbwerte der Pixel 2 und 
17 berechnet. Zunachst wird die Anzahl der Pixel zwischen diesen beiden 
Positionen ermittelt, im Beispiel 14. AnschlieBend wird fur jede Farbe (Rot, 
Grun, Blau) die Farbdifferenz ermittelt, z.B. Farbwert an Position 2 = 2; 
Farbwert an Position 17 = 30 ergibt Farbdifferenz von 28). Eine 
Farbwertsteigerung pro Pixel - vom Pixel 2 zum Pixel 17 - errechnet sich dann 
aus Farbdifferenz / Anzahl (Im Beispiel 28/14 = 2). 
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Die noch ubrigen Flachen werden durch Zeichnen von horlzontalen Linlen 
ausgefQIlt, z.B. von Position 63 nach Position 74, von Position 82 nach Position 
- 93, usw. Auch hier wFrd ein vorlaufiger Farbverlauf zwischen den Punkten wie 
oben angegeben berechnet, 

Wie Figur 8 zelgt, ergibt jede weitere hinzufugte Pixelgruppe weitere Dreiecke 
die entsprecliend ausgefQIlt werden konnen. Nachdem zunachst die gesamte 
Flache durch Nutzung der 4 Eckpunkte (21, 38, 398, 381) ausgefOllt wurde, 
kann nun mit jeder weiteren Pixelgruppe die AuflSsung verfeinert werden. Das 
Hinzufiigen der Pixelgruppe 87 fQhrt zu 4 Drelecken mit den Bezugspunkten 
(21, 38. 87), (21. 87, 381). (381. 87, 398), (398, 78, 38). Wird nun Innerhalb 
eines solchen Dreieckes, z.B. 87, 381, 398, eine weitere Pixelgruppe (247) 
eingefugt entstehen 3 neue Dreiecke (247,381,398), (247, 87, 381) und 
(247,87, 398). Jede neue Pixelgruppe erzeugt somit 3 neue Dreiecke, die 
ausgefOllt werden konnen. Je mehr Pixelgruppen eingefugt sind, d.h. je mehr 
Dreiecke gebildet werden, desto nalier kommt der berechnete Farbverlauf dem 
tatsaclilichen Farbverlauf des Bildes. Da ab nun immer nur neue Dreiecke 
entstehen, konnen fur die Berechnungen optimierte Verfahren verwendet 
werden. Ferner konnen die Jewells 3 neu entstehenden Dreiecke parallel 
berechnet werden, urn die Bearbeltungsgeschwindigkeit zu stelgem. 
Zusatzliche M5gllchkelt der Paralleflslerung entsteht dadurch, wenn neue 
Pixelgruppen in unterschiedlichen Regfonen des Bildes hinzugefQgt werden. 

Bei den oben beschriebenen Verfahrenschritten wurde vorausgesetzt, dass 
sich der Bildinhalt zwischenzeitllch nicht geandert hat. Andert sich der 
Blldinhalt, dann werden die Prioritaten der einzelnen Pixelgruppen neu verteiit 
und die aktuellen Pixelgruppen mit derhochsten Prioritat Obertragen. Es andert 
sich nur die Relhenfolge der gerade Qbertragenen und in das Bild eingefiigten 
Pixelgruppen. Am oben beschriebenen Prinzip der Rekonstruktion des Bildes 
andert sich jedoch nichts. 
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Um den zeitlichen Anderungen des Bildlnhalts Rechnung zu tragen, konnen 
jedoch noch zusatzliche Arrays (mit der GroBe des Bildarrays) erzeugt werden. 
Diese konnen Angaben enthalten uber die 

- Zeit, d.h. wann wurde ein Pixelwert zuletzt berechnet bzw. ubertragen 

- Berechnungsgrundlage. Welche ubertragenen Pixel wurden zur Berechnung 
des Pixelwertes benutzt 

- Wahrschelnlichkeit/Genaurgkeit. Wurde ein Pixelwert ubertragen oder 
berechnet; falls er berechnet wurde wie groB ist die Varianz der Pixelgruppen 
aus denen der neue Wert berechnet wurde? 

- Abweichung von schon kalkulierten Pixelwerten mit dann tibertragenden 
Pixelwerten 

Aus diesen GroSen lassen sich dann Bildregionen bestimmen in denen haufig 
Pixelgruppenanderungen vorkommen. Benachbarte Pixelgruppen, oder auch 
komplette Bereiche werden In aMer Regel ahnlichen Veranderungen, z.B. 
Heliigkeltsanderungen, Farbanderungen unterliegen. Durch Auswertung dieser 
Anderungen lassen sich in aller Regel Objekte und ihr dynamlsches Verhalten 
bestimmen, z.B. Gegenstand der sich im Video bewegt. GleichmaSige 
Anderungen bezogen auf das gesamte Bildarray konnen zum Belspiel auf einen 
Kameraschwenk hinweisen, Werden diese Informationen z.B. mit Hilfe von 
lernfahigen neuronalen Netzen ausgewertet, lassen sich sehr leicht 
Abschatzungen uber die Pixelwerte von noch nicht Obertragenden Pixelgruppen 
machen. Treffen diese Abschatzungen zu, konnen Pixelgruppen identlfiziert 
werden, die besonderen EInfluss auf Veranderungen auf Objekte besitzen. 
Werden diese Pixelgruppen von der Quelle erneut angefragt, ist es moglich 
Objektbewegungen mit nur wenig Pixelgruppen genau zu bestimmen und 
vorherzusagen. In der Praxis bedeutet es, dass obwohl nur eine niedrige 
Bandbreite zur Verfugung steht, niedrige Verzogerungszeiten auftreten, die 
wesentlich geringer sind als bel Frame-basierten Verfahren. Die Auswertung 
der zusatzlich Im Empf anger generierten Arrays eriaubt auch eine gute 
Objekterkennung. 
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In Abhangigkeit der verf Ogbaren Ressourcen konnen neben der reinen 
Priorisierung durch die Farbwerte benachbarter Pixel auch Abhangigkelten der 
Lage der prjorisierten Pixelgruppen herangezogen werden. 
Ein Anwendungsfall soil dies verdeutlichen. Betrachtet man auf See einen 
Horizont, erscheint dieser wie eine waagerechte Linie. Es ist zu erwarten, dass 
die Prioritatswerte jeder Pixelgruppe entlang diesem Horizont in etwa gleich 
sind. In diesem Fall besitzen die am weitesten auseinander Ilegenden Punkte 
der Horizontlinie die groBte Aussagekraft. Durch Obertragung der auBersten 
linken und auBersten rechten Pixelgruppen des Horizonts Ist es schon mogllch, 
diesen wieder zu rekonstruieren. 

Eine weitere Moglichkeit der Priorisierung liegt In der Hoherbewerlung 
bestimmter Bildbereiche. Bin solcher Bildbereich konnen zum Beisplel 
Gesichter sein. Obwohi Gesichter auf UrIaubsvideos manchmal nur einen 
prozentual kleinen Bereich des gesamten Bildes ausmachen, stehen sie beim 
Betrachten meist im Mittelpunkt. Ein solches mensohliches Sehverhalten kann 
durch eritsprechende Priorisierung der Pixelgruppen dieser Bildbereiche 
(Gesichtsbereiche) berucksichtigt werden. Ebenso konnen die Pixelgruppen Im 
Zentrum des Videos eine entsprechend hohere Priorisierung erfahren. 

Eine weitere Moglichkeit der Optimlerung besteht in der Tatsache, dass sich 
benachbarte Pixelgruppen gegenseitig uberlagern. Durch geschlckte Auswahl 
der Pixelgruppen kann vermieden werden, dass sich uberlagernde PIxelwerte 
benachbarten Pixelgruppen wiederholt ubertragen werden. 

Der Aufwand der zum Dekodieren verwendet wird, ist f rel skalierbar. Bei 
kleineren Displays (z.B. Handys ) ist sicherlich weniger Rechenaufwand 
notwendig als die Wiedergabe auf einem hochauflosendem GroBbildschirm, 
obwohi beide den gleichen Quelldatenstrom, bestehend aus den priorisierten 
Pixelgruppen, verwenden. Diese flexible Skallerung eriaubt es Herstellern von 
Endgeraten, spezielle Optimlerungen, z.B. Anzahl der Objekte, Historie der 
BUdanderungen, In ihre Gerate einzubauen. Fur die Hersteller erglbt sich eine 
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Mogllchkeit, sich von I'hren Mitbewerbern abzuheben, ohne die Kompatfbilltat 
der Videoubertragung zu gefahrden. 
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Patentanspruche 

1. Verfahren zur Komprimlerung von Videodaten, die aus einem Array 

einzelner Bildpunkte (Pixel) bestehen, wobei jedes Pixel (0-419) einen sich 
zeltlich verandernden PIxelwert aufweist, der Farb- Oder 
Helligkeitsinformation des Pixels beschreibt, 
gekennzelchnet durch die Schrltte: 

a) Ermittein eines Priorltatswertes fur jedes Pixel des Arrays durch 
Berechnen eInes Pixeldifferenzwertes anhand des jeweils momentanen 
Pixelwerts des Pixels In Bezug auf die momentanen Pixelwerte einer zuvor 
festgelegten Gruppe von benachbarten Pixelii; 

b) Zusammenfassen der fur die Berechnung des Priorltatswertes 
hinzugezogeneh Pixel zu einer Pixelgruppe (P0-P4), 

c) Sortleren der Pixelgruppen anhand ihres Prioritatswertes und Ablegen 
in einem Prioritatenarray; und 

d) Abspelchern und/oder Obertragen der Pixelgruppen entsprechend ihrer 
Priorltat im Prioritatenarray, 

wobei die Schritte a) bis d) standig wiederholt warden, wobei die 
Priorltatswerte der Pixelgruppen stets neu emnittelt werden und das 
Prioritatenarray zu jedem Zeltpunkt die nach aktuellen Prioritaten sortlerten 
Pixelgruppen enthalt. 

2. Verfahren nach Anspruch 1, dadurch gekennzelchnet, dass der 
Plxeldifferenzwert sIch aus der Differenz des Pixelwerts ernes betrachteten 
Pixels zum Pixelwert jedes seiner betrachteten Nachbarpixel der 
Pixelgruppe ergibt. 

3. Verfahren nach einem der vorhergehenden Anspruche, dadurch 
gekennzelchnet, dass zu Beginn die KenngroBen des VIdeobildes, wie 
Bildbreite in Pixel, Bildhohe in Pixel und Form der verwendeten Pixelgruppe 
abgespeichert und/oder ubertragen werden. 
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4. Verfahren nach einem der vorhergehenden Anspruche, dadurch 
gekennzeichnet, dass furjede Pfxelgruppe die Position eines Bezugspixels 
(PO), dessen Pixelwert, sowie der Pixelwert der Qbrigen Pixel (P1-P4) der 
Pixelgruppe abgespeichert oder ubertragen wird. 

5. Verfahren nach einenn der vorhergehenden Anspruche, dadurch 
gekennzeichnet, dass Pixelgruppen bestimmter Bildbereiche eine erhohte 
Prioritat zugeordnet wIrd. 

6. Verfahren nach einem der vorhergehenden Anspruche, dadurch 
gekennzeichnet, dass die PIxelwerte der Pixelgruppen durch 
Lauflangencodierung oder andere Kompressionsverfahren welter 
komprimiert werden. 

7. Verfahren nach einem der vorhergehenden Anspruche, dadurch 
gekennzeichnet, dass die laufende Ermfttlung und Ausgabe der nach 
Prioritaten sortierten Pixelgruppen bereits durch ein verwendetes 
bildaufnehmendes System, wie z.B. Scanner, CCD-Kamera, erfolgt. 

8. Verfahren nach einem der vorhergehenden Anspruche, dadurch 
gekennzeichnet, dass Framegrabber Karten (bzw. Softwarelosungen) 
eingesetzt werden konnen, um auch vorliegendes VIdeomaterial 
verschiedenster Formate (z.B. AVI, MPEG-1, MPEG-2, MPEG-4,...) zu 
konvertieren. 

9. Verfahren zur Rekonstruktion von VIdeodaten, die mit dem Verfahren 
gemaB den Anspruchen 1 bis 8 komprimiert wurden, 

dadurch gekennzeichnet, 

dass die jeweils eingelesenen Pixelwerte in Form eines Bildarrays 
dargestellt werden, wobel die noch nicht ubertragenden Pixel aus den 
schon ubertragenden Pixein berechnet werden. 
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10. Verfahren nach Anspruch 9, 

gekennzelchnet durch die Schritte: 

a) Geherieren eines leeren Bildarrays aus den eingelesenen KenngroBen 
des komprimierten VIdeoblldes, 

b) Kontinulerliches Einlesen der abgespeicherten bzw. Qbertragenen 
PIxelgruppen und Einfugen in das Bildarray, 

c) Bilden von Dreiecken durch Verblnden von jeweils drel unmittelbar 
benachbarter Pixelgruppen durch mindestens eine LInie, 

d) Ausfiillen der die Flache der Dreiecke bildenden Pixel durch einen aus 
den das Dreleck'blldenden Pixelgruppen berechneten Farb- und/oder 
Helligkeitsverlauf, und 

e) Wiederholen der Schritte b) bis e) 

11. Verfahren nach einem der Anspruche 9 oder 10, dadurch gekennzelchnet, 
dass die Dreiecke in ihrer GroBe skalierbar und an unterschiedliche 
Bildauflosungen anpassbar sind. 

12. Verfahren nach einem der Anspruche 9 bis 11, dadurch gekennzelchnet. 
dass zusatzliche Arrays erzeugt werden konnen, die Angaben enthalten 
uber die: 

- 2eit, d.h. wann wurde ein PIxeJwert zuletzt berechnet bzw. ubertragen, 

- Berechnungsgrundlage, d.h. welche Qbertragenen Pixel wurden zur 
Berechnung des Pixelwertes benutzt, 

- Wahrscheinllchkelt/Genauigkeit, d.h. wurde ein Pixelwert Qbertragen oder 
berechnet; falls er berechnet wurde, wie groB ist die Varlanz der 
Pixelgruppen aus denen der neue Wert berechnet wurde, 

- Abweichung von schon kalkulierten PIxelwerten mit dann ubertragenden 
PIxelwerten. 

13. Verfahren nach einem der AnsprQche 9 bis 12, dadurch gekennzelchnet, 
dass anhand der gemaS Anspruch 12 erzeugten Arrays, auf einfache Art 
Bewegungsproflle und Objekte erkannt werden kSnnen. 
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14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, dass durch 

Auswertung der Bewegungsprofile und Objekte flQssige Bewegungen mit 
extrem niedrigen Latenzzeiten, trotz niedrigster Obertragungsraten erzielt 
warden konnen. 
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